稀疏编码与$ l_1 $罚化和学习的线性词典需要正规化字典以防止$ l_1 $ norms的代码中的崩溃。通常,此正则化需要绑定字典元素的欧几里德规范。在这项工作中,我们提出了一种新颖的稀疏编码协议,其防止代码中的崩溃,而无需正常化解码器。我们的方法直接正规化代码,使每个潜在代码组件具有大于固定阈值的差异,而不是给定一组输入集的一组稀疏表示。此外,我们探讨有效地利用多层解码器培训稀疏编码系统的方法,因为它们可以模拟比线性词典更复杂的关系。在我们的MNIST和自然形象补丁的实验中,我们表明,通过我们的方法学习的解码器具有在线性和多层外壳中的可解释特征。此外,我们显示使用我们的方差正则化方法训练的多层解码器具有多层解码器的稀疏自动置分机,与具有线性词典的自动码器相比,使用稀疏表示具有稀疏表示的更高质量的重建。此外,通过我们的差异正规化方法获得的稀疏表示可用于低数据制度的去噪和分类的下游任务。
translated by 谷歌翻译